Trở về Trung Hoa năm 1926, Ngô bắt đầu sự nghiệp hành chính, đầu tiên làm nhân viên thu thuế tại Hán Khẩu (nay thuộc Vũ Hán) cho Hsia Tou-yin, một sứ quân địa phương. Năm 1931, ông kết hôn với bà Edith Hoàng, con gái ông Gene T. Hoàng. Họ có bốn người con: Eileen Hsiu Young Yu, Edith Hsiu Hwei Li, H.K. Wu và Sherman Wu.[1] Năm 1932, ông trở thành Thị trưởng Hán Khẩu. Khi nạn lụt sông Dương Tử đe dọa thành phố năm 1936, Ngô giám sát việc xây dựng một hệ thống kênh đập lớn giúp bảo vệ thành phố.[2]

Khi Hán Khẩu rơi vào tay quân Nhật vào tháng 10 năm 1938 trong Chiến tranh Trung-Nhật, Ngô và gia đình chạy đến Trùng Khánh. Năm 1939, Tưởng Giới Thạch bổ nhiệm ông làm Thị trưởng Trùng Khánh, ông giữ chức này tới năm 1942. Ông giữ chức Thứ trưởng Ngoại giao từ năm 1943-1945, phụ trách liên lạc với Chu Ân Lai trong mặt trận thống nhất chống Nhật. Sau khi Thế chiến II kết thúc, Ngô trở thành Thị trưởng Thượng Hải năm 1945, cho đến khi thành phố rơi vào tay quân Cộng sản Trung Hoa năm 1949.[2] Trong lúc còn là Thị trưởng Thượng Hải, Ngô có quen biết với phóng viên Robert McCormick của tờ Chicago Tribune và vợ là Maryland. Khi tình hình Thượng Hải trở nên nguy ngập, ông cho hai con gái sang Mỹ sống với gia đình McCormick tại Illinois.[3]